Can LLMs Judge Better Than They Generate? Evaluating Task Asymmetry, Mechanistic Interpretability and Transferability for In-Context QA
LLM 在情境问答中评判比生成更难？不对称性分析
🧭 LLM 评判 vs. 生成不对称性 · 注意力机制
Adobe Research
发现自评估并非总是比生成容易，注意力差异揭示评估忽略上下文与答案。
📌 工作参考价值（4 点）
- 在电商搜索、Agent 反馈等依赖 LLM 自评估的场景，需警惕评估准确率常低于生成，应引入外部校验或结构化评估流程，避免错误答案被放行。
- 评估时模型对上下文关注度低 3-5 倍，且几乎不看候选答案，可设计显式 prompt 强制其细读上下文或答案，或改用单独的评估模型。
- 微调生成与评估会相互干扰：优化生成导致过接受（误判增多），优化评估则损害生成质量。若需两者兼具，建议分离模块或采用多任务平衡训练。
- 在 Agent 反思机制中，单靠模型自评可能不可靠，结合检索结果验证、执行反馈等外部信号可提高稳健性。